本文考虑了在线配置器通常使用的一组替代方案中学习用户偏好的任务。在许多设置中，学习者在过去的互动过程中只有一组选定的替代方案。Fargier等。[2018]提出了一种在这种环境中学习用户偏好模型的方法，该模型对先前选择的替代方案进行了排名尽可能高；以及在这种情况下学习的算法，是一种特定的偏好模型：词典偏好树（LP-Trees）。在本文中，我们研究了与这种方法相关的复杂性理论问题。我们对学习LP-Tree的样本复杂性给出了上限，这在属性数量上是对数。我们还证明，计算最小化经验风险的LP树当仅限于线性LP-Trees的类别时，可以在多项式时间内完成。
translated by 谷歌翻译
Inspired by progress in large-scale language modeling, we apply a similar approach towards building a single generalist agent beyond the realm of text outputs. The agent, which we refer to as Gato, works as a multi-modal, multi-task, multi-embodiment generalist policy. The same network with the same weights can play Atari, caption images, chat, stack blocks with a real robot arm and much more, deciding based on its context whether to output text, joint torques, button presses, or other tokens. In this report we describe the model and the data, and document the current capabilities of Gato.
translated by 谷歌翻译
安全限制和最优性很重要，但有时控制器有时相互冲突的标准。虽然这些标准通常与不同的工具单独解决以维持正式保障，但在惩罚失败时，加强学习的常见做法是惩罚，以惩罚为单纯的启发式。我们严格地检查了安全性和最优性与惩罚的关系，并对安全价值函数进行了足够的条件：对给定任务的最佳价值函数，并强制执行安全约束。我们通过强大的二元性证明，揭示这种关系的结构，表明始终存在一个有限的惩罚，引起安全值功能。这种惩罚并不是独特的，但大不束缚：更大的惩罚不会伤害最优性。虽然通常无法计算最低所需的惩罚，但我们揭示了清晰的惩罚，奖励，折扣因素和动态互动的结构。这种洞察力建议实用，理论引导的启发式设计奖励功能，用于控制安全性很重要的控制问题。
translated by 谷歌翻译